Borne de Cramer-Rao :

• \((\Omega,\mathcal A,({\Bbb P}_\theta)_{\theta\in\Theta})\) vérifie les axiomes de l'Information de Fisher
• \(T:\Omega\to{\Bbb R}^p\) est une Statistique tq \(\forall\theta,{\Bbb E}_\theta[\lvert T\rvert^2]\lt +\infty\)

$$\Huge\iff$$

• en tout point \(\theta\in\Theta\) où l'Information de Fisher \(I(\theta)\) est inversible, on a : $$\Gamma_T(\theta)\succeq de_T(\theta)I(\theta)^{-1} de_T(\theta)^T$$avec \(e_T(\theta)={\Bbb E}_\theta[T]\), \(de_T(\theta)\) la Jacobienne de \(e_T\) en \(\theta\) et \(\Gamma_T(\theta)\) la Matrice de covariance de \(T\) sous \({\Bbb P}_\theta\)
• \(\succeq\) désigne la Relation d'ordre sur les matrices symétriques définie par : \(A\succeq B\iff A-B\) est symétrique positive

START
Ω Basique (+inversé optionnel)
Recto: Donner l'expression de \(\Gamma_T(\theta)\) dans la borne de Cramer-Rao.
Verso: $$\Gamma_T(\theta)={\Bbb E}_\theta[(T-{\Bbb E}_\theta[T])(T-{\Bbb E}_\theta[T])^T]$$
Bonus: Matrice de covariance Carte inversée ?:
END
START
Ω Basique (+inversé optionnel)
Recto: Que dit la borne de Cramer-Rao dans le cas où \({\Bbb E}_\theta[T]=\theta\) (pas de Biais) ?
Verso: On a \(\Gamma_T(\theta)\succeq I(\theta)^{-1}\).
En prenant la Trace, cela donne : $${\Bbb E}[\lvert T-\theta\rvert^2]\geqslant\operatorname{Tr}(I(\theta)^{-1})$$et en dimension \(1\) : $${\Bbb E}_\theta[(T-\theta)^2]\geqslant\frac1{I(\theta)}$$
Bonus:
Carte inversée ?:
END
START
Ω Basique (+inversé optionnel)
Recto: Donner une conséquence importante de la borne de Cramer-Rao.
Verso: La variance d'un Estimateur sans biais de \(\theta\) est d'autant plus petite que l'Information de Fisher est grande.
Bonus:
Carte inversée ?:
END

Exercices

$$\hat\theta_n=\max_{i\in[\![1,n]\!]}X_i$$

Il suffit de trouver une décomposition qui marche (Théorème de factorisation de Neyman-Fisher), et cela peut se faire en reformulant l'indicatrice avec des \(\min_iX_i\) et des \(\max_i X_i\).

Calculer l'espérance via la méthode de la fonction muette 🤓.

Faire commuter la somme et l'intégrale.

Rentrer tous les \(x_j\) à l'intérieur d'une autre intégrale (sauf \(x_i\)).

Calculer l'intégrale intérieure.

On retrouve la densité à l'intérieur de l'intégrale.

On a donc l'espérance, ce qui nous permet de calculer le biais.

Cette amélioration est obtenue en prenant l'espérance conditionnelle par rapport à un autre estimateur exhaustif.

On calcule cette espérance conditionnelle via la formule des probabilités totales.

$$R=\hat\theta_n\frac{n+1}n$$

Calculer la variance de \(R\).

Calculer \(\nabla_\theta\log\ell_\theta\) la dérivée du logarithme de la vraisemblance.

Conclure en indiquant si la borne est atteinte.